Работа над предсказанием результатов

Исходные данные

• В качестве исходных данных у нас были результаты по Химии ОГЭ за 2022 год
• Так же к ним при прикрепили результаты выполнения домашних работ в течении года
• В качестве идентефикатора пользователя мы брали ссылку в ВК. Не самый надёжный способ, но какой был
• В данных о результатах экзаменов иногда была информация о баллах, а иногда о оценке(3-4-5)
• Чтобы не потерять часть данных, которых и так мало, мы решили перевести все результаты в оценки
• С этого момента мы ставим задачу предсказать по результатам домашек какую оценку получит ученик в конце года
• Для нас ключевым является не предсказание пятёрок, а предсказание оценок ниже. Как потом окажется - это довольно трудная задача

Интересный момент о графике выше

• В процессе анализа мы сравнили частоту, с которой встречаются задания ОГЭ по ХИМИИ в базе, с частотой, с которой они встречались в ДЗ у детей. Видно, что в большинстве случаев они очень близки.
• Однако, например задание 23 в базе встречается значительно более часто, в то время как в ДЗ они появляются реже.
• Построив такие графики можно получить информацию о том, какие задачи преподаватель "недодает" или они "перенаписаны/недописаны"

Методология расчёта среднего результата выполнения задания КИМ. Взвешенное среднее

• Для исследования мы используем данные о том, как ученик решал каждый номер КИМ
• Мы хотим выявить средний балл который он получает за каждое задание КИМ
• Скажем если ученик решил задание стоимость 1 балл в первый раз на 0, а потом на 1, то его среднее будет равно 0.5
• Такой подход нам не очень нравится. Поэтому мы решили, что будем учитывать порядок в котором у ребёнка появлялись результаты
• Мы это называем "Взвешенное среднее"

$$\bar{X} = \sum{X_i\cdot\omega_i}$$

• Здесь $\omega_i$ - коэффициенты, которые растут с увеличением i
• Таким образом если ученик сначала решил на 0, а потом на 1, он получит чуточку большее среднее, чем если сначала решит на 1, а потом на 0

kim	user_id	1	2	3	4	5	6	7	8	9	...	15	16	17	18	19	20	21	22	23	24
0	0	0.000000	0.890909	0.794872	0.678571	0.909091	0.000000	0.000000	0.000000	1.666667	...	0.000000	0.000000	1.333333	0.509091	0.000000	0.000000	0.000000	0.000000	0.000000	0.0
1	1	0.000000	0.654545	0.948718	0.821429	0.872727	0.500000	1.000000	0.888889	2.000000	...	0.555556	0.000000	0.000000	0.763636	0.000000	0.000000	0.000000	0.000000	0.000000	0.0
2	10	0.610390	0.795567	0.755682	1.405042	0.700855	0.714286	0.980392	0.631360	1.289610	...	0.741176	0.495238	1.161765	0.689922	0.607397	1.322464	1.905138	1.616667	2.933333	0.0
3	100	0.917749	0.637931	0.755682	1.529412	0.934473	0.666667	0.699346	0.582105	1.406154	...	0.811765	0.658065	1.043678	0.593093	0.601732	2.333333	2.967033	2.750000	0.000000	0.0
4	1000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	...	0.000000	0.400000	0.000000	0.000000	0.200000	0.000000	0.000000	0.400000	0.000000	0.0
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
2132	995	0.974638	0.814286	0.466667	1.583908	0.805263	1.000000	1.000000	0.875991	1.853460	...	0.981538	0.463300	1.513228	0.951261	0.724138	2.649123	3.894737	2.525641	3.666667	0.0
2133	996	0.842857	0.923977	0.563636	0.000000	0.822222	0.000000	0.000000	0.000000	0.000000	...	0.000000	0.945455	0.000000	0.618182	0.000000	0.000000	0.000000	0.000000	0.000000	0.0
2134	997	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	...	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.0
2135	998	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	...	0.000000	0.563636	0.000000	0.700000	0.717949	0.000000	0.000000	2.666667	2.333333	0.0
2136	999	0.948718	0.897059	0.819048	0.000000	0.000000	0.500000	0.750000	0.000000	0.000000	...	1.000000	0.000000	0.000000	0.834835	0.509091	0.000000	0.000000	2.321429	0.000000	0.0

2137 rows × 25 columns

• Вот такой у нас получилась таблица со взвешенными средними результатов учеников за каждый номер КИМ

kim	user_id	1	2	3	4	5	6	7	8	9	...	15	16	17	18	19	20	21	22	23	24
0	0	0.0	10.0	12.0	7.0	10.0	0.0	0.0	0.0	2.0	...	0.0	0.0	2.0	10.0	0.0	0.0	0.0	0.0	0.0	0.0
1	1	0.0	10.0	12.0	7.0	10.0	4.0	3.0	8.0	6.0	...	9.0	0.0	0.0	10.0	0.0	1.0	5.0	0.0	0.0	0.0
2	10	21.0	28.0	32.0	34.0	26.0	6.0	17.0	95.0	55.0	...	34.0	20.0	16.0	42.0	37.0	23.0	22.0	15.0	5.0	0.0
3	100	21.0	28.0	32.0	34.0	26.0	5.0	17.0	75.0	25.0	...	34.0	30.0	29.0	36.0	21.0	21.0	13.0	7.0	0.0	0.0
4	1000	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	...	0.0	10.0	0.0	13.0	10.0	0.0	0.0	4.0	0.0	0.0
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
2132	995	23.0	20.0	20.0	29.0	19.0	4.0	14.0	65.0	66.0	...	25.0	54.0	27.0	34.0	29.0	18.0	19.0	12.0	5.0	0.0
2133	996	20.0	18.0	10.0	0.0	9.0	0.0	0.0	0.0	0.0	...	0.0	10.0	0.0	10.0	0.0	0.0	0.0	0.0	0.0	0.0
2134	997	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	...	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0
2135	998	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	...	0.0	10.0	0.0	15.0	12.0	0.0	0.0	6.0	5.0	0.0
2136	999	12.0	16.0	14.0	0.0	0.0	3.0	7.0	0.0	0.0	...	8.0	0.0	0.0	36.0	10.0	0.0	0.0	7.0	0.0	0.0

2137 rows × 25 columns

• А такой получилась таблица, которая подсчитывала количество выполненных заданий по каждому номеру КИМ
• Надо понимать, что здесь мы имеем дело с "фейковым" user_id, потому что мы не использовали реальный ID учеников за ненадобностью

	vk	point	user_id
0	https://vk.com/id455460735	3	1505
1	https://vk.com/id575165735	3	959
2	https://vk.com/id191766636	3	814
7	https://vk.com/id471957172	3	1991
8	https://vk.com/id542247727	3	1638
...	...	...	...
738	https://vk.com/id183562702	5	439
739	https://vk.com/id247848204	5	233
740	https://vk.com/id277072159	5	1823
741	https://vk.com/id390463571	5	520
742	https://vk.com/id330302671	5	816

507 rows × 3 columns

• Вот так выглядит наша таблица с результатами. В столбце point (тут название можно было и получше придумать) мы уже вычислили предполагаемую оценку, которую получают ученики
• Из всех учеников, от которых к нам пришли результаты, какую-либо домашку делали только 507 ученико
• Таким образом для анализа у нас есть всего 507 строк данных. Дальше это число будет только уменьшаться :(

• Выше приведено распределение количества учеников по полученным оценкам
• Видно, что троек исчезающе мало
• Так как данных очень мало, то любая предсказывающая модель будет очень сильно ошибаться в оценке троек, из-за их малого количества
• В последствии мы объединим тройки и четверки. Но сначала сделаем несколько манипуляций с данными и визуализируем интересные моменты

Классические Модели

• Изначально я попытался решить задачу классическими способами
• За основу были взяты данные о "качестве" решений и о "количестве" решённых заданий
• Ожидалось, что либо хотя бы один из них в отдельности или они вместе дадут в какой-то из моделей машинного обучения какой-нибудь хороший результат
• В общей сложности я перебрал 6 различных моделей. Ни одна не давала чего-то, что можно назвать рабочей моделью
• Ниже я постараюсь визуализировать результаты предсказаний самой лучшей из использованных моделей

• Что показывают графики выше? Correct - это правильность предсказания. Синий - доля неверных предсказаний, жёлтый - доля верных. Серый - пересечение областей
• Картинки нарисованы для каждого номера КИМ.
• По оси X - взвешенное среднее для данного номера КИМ
• По оси Y - количество верных и неверных предсказаний соответственно
• Хорошо видно, что модель вцелом хорошо угадывает в тех областях, где взвешенное срднее большое.
• Исключение разве что задания 1-2-3 - то есть видимо самые лёгкие, и мало говорящие о том, что ученик умеет решать задания вцелом
• Благодаря этому графику мы понимаем, что модель заведомо запутывается из-за большого числа учеников, у которых близкий к нулю средний результат выполнения номера КИМ
• Источник ошибок найдет, однако как с ним быть? Хороший вопрос.

• Чтобы собралась полная картинка ситуации, я построил аналогичные диаграммы, но за цвета здесь отвечают конечные оценки учеников
• Здесь с нулями наблюдается очень похожая ситуация
• Близких к нулю средних результатов очень много, однако среди этих нулей почти одинаково часто встречаются и 4 и 5, что значительно конфузит любую модель

• Последний важный график, который подытоживает "классический подход"
• Здесь в палитре разложено какая доля ошибок и где возникает
• По главной диагонали располагается обычная точность. Как видно, она примерно $52 \%+11\% \cong 63\% $
• По другим клеткам можно подсчитать долю, когда модель "завышает" оценку и "занижает" оценку
• Для нас в будущем будет важно, чтобы модель, если уж ошибается, то уж хотя бы не завышала оценку ученику
• Высокий процент угаданных пятёрок не должен радовать. Объективно пятёрок большинство, поэтому модель и будет их чаще угадывать

Принципиальная предсказуемость

• После ещё некоторого количества попыток разными способами оседлать задачу, мне начали приходить мысли о том, что такая задача с такими условиями просто не может быть решена с удовлетворительной точностью
• Однако с приходом к такой мысли, нужно попытаться сделать ещё один рывок
• Попробуем понять, можно ли как-то криво/косо, но все же оценик принципиальную предсказуемость оценок учеников
• Для этого я создал таблицу, в которой будут для каждого ученика будет подсчитано следующее:
• Суммарное значение средних результатов по всем КИМ. Это как бы выражает суммарное "качество" решений учеником - quality
• Суммарное значение количества заданий по всем КИМ. Это выражает общее "количество" решённых учеником заданий - count

• На графике выше отмечено то, какие ученики получают отценки (point) в зависимости от качества (quality) решаемых заданий и их количества (count)
• Не трудно заметить, что начиная с какого-то момента(и по количеству и по качеству), почти все ученики начинают получать пятёрки.
• Но картину портят те пятёрки, которые находятся в левом нижнем углу. Видно, что их очень много и они слишком сильно путают модели

• На верхнем графике отражаются предсказания, просто как верные и не верные, и для каждой формы точки(оценки ученика)
• На нижнем графике по цвету можно понять насколько сильно ошибалась модель.
• Например 1- означает, что итоговыый результат ученика на 1 выше чем было предсказано, а вот -2 значит, что мы предскащаои ученику 5, а он получил 3
• Видно, что в основном машика ошибается именно в этой, гадкой области около нулей.

Зависимость от количества решённых заданий. Предварительные выводы

• Предположим, что мы будем стараться предсказывать что-то только о тех учениках, которые решили заданий выше среднего
• Сначала поймем сколько это. Ниже таблица с которой мы работаем

	count	quality	point	predict	correct	dif
0	574.0	28.878723	5	5	True	0
1	294.0	17.818278	4	5	False	-1
2	544.0	21.496513	5	5	True	0
3	10.0	0.400000	4	4	True	0
4	234.0	23.711307	5	5	True	0
...	...	...	...	...	...	...
97	60.0	10.155760	5	5	True	0
98	102.0	8.164629	4	5	False	-1
99	20.0	3.175758	5	4	False	1
100	114.0	14.922303	5	5	True	0
101	631.0	20.052706	5	5	True	0

102 rows × 6 columns

• Итак, по результатам нашего мини исследования, среднее значение решённых заданий 190, а медианное - 119.
• При этом количество заданий равное 60 отсечёт примерно четверть всех данных
• Чуть позже мы узнаем, что для предсказания будет хватать как раз 60 заданий. Это число мы и возьмём как пороговое. Иначе у нас освсем не останется данных

Всего 72 наблюдения, в которых ученик решал достаточное количество задач (выше 60)
Из них 55 наблюдения предсказаны верно
В 52 верных наблюдениях предсказаны 5-ки
В 12 наблюдениях предсказан результат на 1 выше, чем получен учеником
В 1 наблюдениях  предсказан результат на 2 выше, чем получен учеником
В 4 наблюдениях  предсказан результат на 1 ниже, чем получен учеником
В 0 наблюдениях  предсказан результат на 2 ниже, чем получен учеником

• Искажение из-за пятёрок сильно влияет на конечный результат.
• Точность получается завышенной из-за того, что 5-ки угадываются легко, при этом их и большинство среди результатов.
• Изучение возможностей для предсказания будут продолжены в другой части исследования

Вторая часть исследования. Инновационные подходы

• В предыдущей итерации программы у нас не получилось достигнуть каких-то внушительных результатов
• Сейчас пришло время понять что именно мы делаем не так
• Соберём все данные и попытаемся найти "главную информацию"
• В какой-то момент мы выкинем тех учеников, которые ничего не решали
• В этой части мы будем использовать совершенное новые методы, которые мне пришлось дополнительно изучить

Алгоритм TSNE

• Прямо сейчас большой проблемой является размерность нашей задачи
• Мы имеем порядка 500 строк данных, и 24 столбца информации. Это довольно плохое соотношение
• Надо как-то сократить количество столбцов информации.
• В этом нам поможет алгоритм TSNE.
• Данный алгоритм умеет выделять "важную" часть информации из нескольких столбцов и автоматически конструировать из них агрегированные признаки заданной размерности
• Для того чтобы это визуализировать, сделаем это для двумерного случая

	tsne_1	tsne_2	sums	user_id	point
0	-7.372083	12.315699	70.0	0	4
1	24.167839	22.652206	686.0	10	5
2	14.397183	17.087486	582.0	100	5
3	17.795519	1.515710	173.0	1005	5
4	0.442748	3.382986	135.0	1008	5
...	...	...	...	...	...
502	9.448067	9.205212	330.0	988	5
503	26.116951	27.506800	745.0	99	5
504	-2.803667	-12.704346	20.0	991	4
505	24.661732	28.788927	605.0	995	4
506	-20.161539	-5.510995	77.0	996	4

507 rows × 5 columns

• То есть вот во что превращаются 24 столбца - в два значащих что-то столбца.
• Трудно объяснить, как работает этот алгоритм. Да и понять тоже трудно. Пока просто применяем

• Алгоритм TSNE позволяет как бы разделить разные участки данных друг от друга.
• Он заведомо не знает о том какой балл в итоге получит ученик
• На графиках выше мы можем видеть, что 5-ки вцелом находятся на островах повыше, а тройки и четверки появляются в другой области
• К сожалению простого разделения здесь нет, но это уже лучше чем было раньше, когда большинство точек кучковалось около нуля
• Ниже попробуем построить то же самое только в 3D

• 3D визуализация не показала ничего особенно интересного
• Данные не поделились на какие-то инетересные группы
• Однако кое-что интересное все такие есть: аномалии
• Хорошо видно, что почти все ученики лежат где-то в одной большой кучке, но некоторые из этой кучки вылетели
• Трудно сказать из-за какого именно признака так случилось, но по user_id можно при желании найти этих аномальных учеников и сделать о них какие-то выводы
• Алгоритм TSNE можно использовать для поиска самых разных аномалий в данных. В любых данных

Модели предсказаний на основе TSNE данных

• Теперь мы построим предсказательные модели уже не на исходных данных, а на данных обработанных при помощи TSNE

Результаты моделей на основе специальных данных

	acc	ac_5	ac_4	ac_3	up_pred	down_pred
model
cb	0.727381	0.948191	0.055780	-0.05	0.233333	0.039286
dt	0.711905	0.913516	0.113010	-0.05	0.221429	0.066667
gb	0.666071	0.834001	0.177311	-0.05	0.196429	0.137500
rf	0.704762	0.900351	0.123417	-0.05	0.219048	0.076190

Проясним немного особенности метрик моделей:

• acc - общая точность предсказания
• ac_5 - предсказание пятёрок
• ac_4 - предсказания четвёрок
• ac_3 - предсказание троек
• up_pred - доля завышенных предсказаний
• down_pred - доля заниженных предсказаний
• Хорошо видно, что вцелом результаты улучшились. Примерно на 10%
• Однако предсказание четвёрок все ещё оставляет желать лучшего
• То что тройки имеют отрицательную точность - это потому что в некоторые тестовые(валидационные) выборки тройки не попадали вовсе. В таких случаях точность отмечалась -1.
• Тут точность высчитывается как среднее, поэтому получилось -0.05

Убираем тех, кто мало решал

• Как мы помним, большая проблема в предсказании возникала из-за того, что у нас чёрт знает что творилось с учениками, у которых было мало решённых заданий
• Сейчас мы докажем тезис, что начиная с 60 заданий уже можно начать говорить о каких-то предсказаниях
• Для этого мы построим зависимость точности одной из моделей, от количества заданий, которые минимально решали ученики. Эдакий срез

Text(0, 0.5, 'Точность/доля')

• График выше позволяет нам выбрать два значения, отсчитывая от которых мы будем отбирать данные: нужно чтобы ученик решил либо более 25, либо более 60 задач. Иначе его результаты практически не предсказуемы
• Важно понимать, что хоть при нуле у нас и довольно высока точность четвёрок, но общая точность у нас при это очень низкая
• Видно, что при повышении порога, у нас растёт общая точность и может достигать значения 80% и выше
• Сейчас наша задача сделать так, чтобы общая точность повышалась не в ущерб точности четвёрок и не увеличивала завышенные оценки
• К этому моменту мы уже убрали 3-ки из выборки

Последнее решение

• До этого момента я перепробовал ещё несколько подходов, такие как например варьировать размерность TSNE, но не пришёл к значительным улучшениям модели
• Сейчас остаётся только попробовать один последний способ: веса для целевых значений
• Дело в том, что модель представляет 4 и 5 как равносильные группы. Хотя очевидно, что определение четверок для нас важнее.
• С этой целью я подправлю веса, которые выставляются для каждой оценки и сделаю новую модель с учётом этих весов
• В итоге 4-ки для нас будут как бы в 2 раза "дороже"

• Итак, мы получили очень интересные результаты
• В том числе лишний раз подтвердили, что в районе 60 выполненных задач происходит что-то интересное
• Судя по графикам, сейчас модель очень консервативна. Она скорее скажет, что вы готовы на 4-ку, чем на 5-ку и в 30% случаев окажется неправа
• В то же время, она редко скажет, что вы готовы на 5-ку, в то время как вы готовы лишь на 4. Процент таких ошибок мнеее 10%

Успех?

• Плюсы: Мы повысили точность определения четверок (60-70%) и очень снизили "завышенные" ожидания (<10%)
• Минусы: Общая точность уменьшилась, уменьшилась точность определения 5-ок(была 90% сейчас 60%), увличилось количество заниженных ожиданий (было около 10% сейчас 30%)